Cha của Lưu Diệu là Lưu Lục (劉綠) chết sớm, ông được Lưu Uyên nuôi dưỡng. Khi ông còn trẻ, Lưu Uyên từng ấn tượng với trí thông minh và sức khỏe của ông. Khi ông đã trưởng thành, ông trở nên nổi tiếng với kỹ năng bắn cung và tính hiếu học, mặc dù việc học tập của ông được mô tả là xem sơ qua hơn là đọc một cách cẩn thận, ngoại trừ các sách về kế sách nhà binh, là thể loại ông tập trung thời gian để nghiên cứu. Ông thường phản đối Ngô Hán (吳漢) và Đặng Vũ, thay vào đó so sánh bản thân với đại tướng thời Chiến Quốc là Nhạc Nghị, thừa tướng nhà Hán là Tiêu Hà, và tướng Hán là Tào Tham. Khi mọi người nghe được các lời này, họ thường chỉ trích ông quá kiêu ngạo, song Lưu Thông tôn trọng ông và nói, "Vĩnh Minh nên được so sánh với Thế Tổ (miếu hiệu của Hán Quang Vũ Đế) và Ngụy Vũ Đế (Tào Tháo); Nhạc, Tiêu, và Tào Tham không thể so được với ông."

Khi Lưu Diệu còn trẻ, ông thường cùng với Lưu Thông, theo học tại kinh thành Lạc Dương của nhà Tấn, một lần, ông phạm phải một tội sẽ bị trừng phạt bằng việc xử tử. Vì thế, ông đã trốn đến Triều Tiên (朝鮮, gần Bình Nhưỡng, Bắc Triều Tiên ngày nay, trong trường hợp này không có ý nghĩa là toàn bộ bán đảo). Sau đó, khi được đại xá, ông quay trở về song đã quyết định sống ở vùng núi để phòng bất trắc.